[レポート]先端AI技術を用いた高速＆高精度な3Dコンテンツクリエーション　~映像制作・バーチャルプロダクションへの展開~ #CEDEC2024 #classmethod_game

ゲームソリューション部の えがわ です。

CEDEC2024に現地参加してきましたので、セッションレポートを書いていきます。
今回は「先端AI技術を用いた高速＆高精度な3Dコンテンツクリエーション　~映像制作・バーチャルプロダクションへの展開~」の概要をお伝えします。

セッション概要

2020年に発表されたのち活発な研究開発が続いているNeRFを中心に、従来手法と比較し圧倒的に高速且つ高精度な、AIをベースにした3Dコンテンツ生成技術について解説を行います。
その技術を、映像制作(特にバーチャルプロダクションにおける実写背景アセットの製作)に活用する取り組みについて紹介します。

セッション内容

NeRF(Neural Radiance Fields)は複数の画像から3D空間を再現し、自由な視点の画像を生成する技術です。

一般的なフォトグラメトリツールと比較して、NeRFは光の反射や透過を再現しやすくフォトリアルな再現が可能となっている。

開発技術としてUnrealEngine用のプラグインを開発しています。
複数枚のディスプレイを使用しても同期がズレない、FPSが低下しない、をこだわりとしている。

オブジェクトの編集や調整のアルゴリズムの開発も行っている。
一部オブジェクトの削除や色や照明も変更を可能としている。

スタジオでの使用例

スタジオには大型のLEDスクリーンを用意し、実際のカメラで演者とスクリーンに映った背景を撮影する。
実際のカメラとUnrealEngineのカメラは位置情報を共有しており、実際のカメラを動かすとカメラ位置に適した背景を描画する。

デモ動画では、背景の撮影に2日、シーンの撮影に1日を要している。
通常の撮影では天候などの外的要因によって撮影が遅れることもある。
こちらはスタジオで撮影を行うため、タレントや俳優の時間制限の中で撮影を行いやすい。

撮影で感じた映像制作におけるNeRFの有効性について

• 解像度: 解像度の検証が進み、品質が向上しており、実制作で使用できるレベルに達している。
• 表現力: 反射物や透過物の表現力が高い。
• 制作スピード: 誰でも簡単に短時間でフォトリアルな3D背景を得ることができる。

最後に

今回のセッションを通じて、NeRFの技術活用に可能性を強く実感しました。
映像制作の効率化と表現力の向上に大きく貢献するこの技術は、バーチャルプロダクションにおける実用性は非常に高く、今後の進展が楽しみです。